Dương Đức Xương sinh ngày 6 tháng 11 năm 1947 tại Thượng Hải. Năm 1949, sau khi Quốc Dân Đảng thất bại trong nội chiến với Đảng Cộng sản Trung Quốc, ông cùng gia đình di cư sang Đài Loan. Cha của Dương Đức Xương là giám đốc xưởng in ấn tại Đài Loan, thuở nhỏ ông sống trong gia cảnh sung túc. Trong mắt bạn bè thời đó, cuộc sống của ông được ví như hoàng tử công chúa. Chính vì thế, ông được xem khá nhiều các tác phẩm điện ảnh thế giới, đam mê với truyện tranh và hoạt hình Nhật Bản khi còn nhỏ.

Dương Đức Xương tốt nghiệp trung học phổ thông Kiến Trung và ngành Kỹ thuật điều khiển tại trường Đại Học Quốc Lập Giao thông, Đài Loan. Sau đó ông sang Hoa Kỳ, tốt nghiệp thạc sĩ Khoa học máy tính tại Đại học Florida. Sau đó ông ghi danh vào Viện nghiên cứu điện ảnh, Đại học Nam California, nhưng bỏ giữa chừng vì không thích cách dạy của trường. Ông cũng được nhận vào Khoa kiến trúc Đại học Harvard nhưng không học, sau đó quyết định làm kỹ sư công nghệ phần mềm tại Seattle. Ông làm việc ở đó bảy năm, trước khi trở về Đài Loan, gia nhập vào nền công nghiệp điện ảnh.